对颅面畸形的评估需要稀疏可用的患者数据。统计形状模型提供了现实和合成数据，从而实现了公共数据集上现有方法的比较。我们建立了第一个公开可获得的颅骨肌肤肤化患者的统计3D头号，并将重点关注比1.5年更年轻的婴儿。对于通信建立，我们测试和评估四种模板变形方法。我们进一步提出了一种基于模型的基于模型的基于模型的分类方法，用于摄影测图表面扫描。据我们所知，我们的研究使用最大的Craniosynosisosis患者数据集，以迄今为止的粗糙化和统计形状建模的分类研究。我们展示了我们的形状模型与人头的其他统计形状模型类似。特异性抗皱性病理学在该模型的第一个特征模具中表示。关于Craniosynostis的自动分类，我们的分类方法能够提供97.3％的精度，与使用两种计算机断层扫描扫描和立体测量法进行的其他最先进的方法相当。我们公开的颅骨弯曲特异性统计形状模型能够评估粗糙化和合成数据的颅骨。我们进一步提出了一种基于最先进的形状模型的分类方法，用于无放射诊断性的颅骨。
translated by 谷歌翻译
Self-supervised learning (SSL) learns useful representations from unlabelled data by training networks to be invariant to pairs of augmented versions of the same input. Non-contrastive methods avoid collapse either by directly regularizing the covariance matrix of network outputs or through asymmetric loss architectures, two seemingly unrelated approaches. Here, by building on DirectPred, we lay out a theoretical framework that reconciles these two views. We derive analytical expressions for the representational learning dynamics in linear networks. By expressing them in the eigenspace of the embedding covariance matrix, where the solutions decouple, we reveal the mechanism and conditions that provide implicit variance regularization. These insights allow us to formulate a new isotropic loss function that equalizes eigenvalue contribution and renders learning more robust. Finally, we show empirically that our findings translate to nonlinear networks trained on CIFAR-10 and STL-10.
translated by 谷歌翻译
平衡传播（EP）是返回传播（BP）的替代方法，它允许使用本地学习规则训练深层神经网络。因此，它为训练神经形态系统和了解神经生物学的学习提供了一个令人信服的框架。但是，EP需要无限的教学信号，从而限制其在嘈杂的物理系统中的适用性。此外，该算法需要单独的时间阶段，并且尚未应用于大规模问题。在这里，我们通过将EP扩展到全体形态网络来解决这些问题。我们分析表明，即使对于有限振幅教学信号，这种扩展也会自然导致精确的梯度。重要的是，可以将梯度计算为在连续时间内有限神经元活性振荡的第一个傅立叶系数，而无需单独的阶段。此外，我们在数值模拟中证明了我们的方法允许在存在噪声的情况下对梯度的强大估计，并且更深的模型受益于有限的教学信号。最后，我们在ImageNet 32x32数据集上建立了EP的第一个基准，并表明它与接受BP训练的等效网络的性能相匹配。我们的工作提供了分析见解，使EP可以扩展到大规模问题，并为振荡如何支持生物学和神经形态系统的学习建立正式框架。
translated by 谷歌翻译
尖峰神经网络（SNN）是大脑中低功率，耐断层的信息处理的基础，并且在适当的神经形态硬件加速器上实施时，可能构成传统深层神经网络的能力替代品。但是，实例化解决复杂的计算任务的SNN在Silico中仍然是一个重大挑战。替代梯度（SG）技术已成为培训SNN端到端的标准解决方案。尽管如此，它们的成功取决于突触重量初始化，类似于常规的人工神经网络（ANN）。然而，与ANN不同，它仍然难以捉摸地构成SNN的良好初始状态。在这里，我们为受到大脑中通常观察到的波动驱动的策略启发的SNN制定了一般初始化策略。具体而言，我们为数据依赖性权重初始化提供了实用的解决方案，以确保广泛使用的泄漏的集成和传火（LIF）神经元的波动驱动。我们从经验上表明，经过SGS培训时，SNN遵循我们的策略表现出卓越的学习表现。这些发现概括了几个数据集和SNN体系结构，包括完全连接，深度卷积，经常性和更具生物学上合理的SNN遵守Dale的定律。因此，波动驱动的初始化提供了一种实用，多功能且易于实现的策略，可改善神经形态工程和计算神经科学的不同任务的SNN培训绩效。
translated by 谷歌翻译
无监督的域适应（UDA）处理在标记数据仅适用于不同的源域时对未标记的目标域数据进行分类的问题。不幸的是，由于源数据和目标数据之间的域间隙，常用的分类方法无法充分实现这项任务。在本文中，我们提出了一种新颖的不确定性感知域适应设置，将不确定性模拟在特征空间中的多变量高斯分布。我们表明，我们提出的不确定性测量与其他常见的不确定性量化相关，并涉及平滑分类器的决策边界，从而提高泛化能力。我们在挑战UDA数据集中评估我们提出的管道，实现最先进的结果。我们的方法代码可用于https://gitlab.com/tringwald/cvp。
translated by 谷歌翻译
While deep learning has led to remarkable advances across diverse applications, it struggles in domains where the data distribution changes over the course of learning. In stark contrast, biological neural networks continually adapt to changing domains, possibly by leveraging complex molecular machinery to solve many tasks simultaneously. In this study, we introduce intelligent synapses that bring some of this biological complexity into artificial neural networks. Each synapse accumulates task relevant information over time, and exploits this information to rapidly store new memories without forgetting old ones. We evaluate our approach on continual learning of classification tasks, and show that it dramatically reduces forgetting while maintaining computational efficiency.
translated by 谷歌翻译